▋Azure聊天機器人實例

上一篇我們練習的Prompt技巧，除了直接在對話框中輸入之外，在Azure聊天機器人中，還有提供介面讓我們可以做更仔細的參數設定。在畫面上的右上角，點擊齒輪符號-Developer setting就能開啟參數欄位的設定視窗。

參數設定

1. Override prompt template (覆蓋提示模板)

意義：允許開發者自定義和覆蓋內置的提示模板。
用法：通常聊天機器人背後都會預設一些prompt指令，這個欄位讓我們能夠自己輸入，取代預設值，很適合角色設定和輸出格式規範的prompt。

2. Temperature (溫度)

意義：控制生成文本的創意性或隨機性。
用法：數值通常介於0到1之間，較低的值會使模型更加確定性和保守，而較高的值則會使模型生成更具創意或隨機性的回應，如果希望模型對於同樣的問題有較類似的回覆，這個數值就盡量調低一些。

3. Seed (隨機種子)

意義：用來設置隨機種子，確保生成的回答是一致的。
用法：輸入任一個數值，就代表一個特定的隨機種子，即使溫度不是0，重複問了同樣的問題，也會固定回傳結果，未來若想再得到過去同樣的結果，就輸入與當時相同的數值即可。
P.S. 在筆者的使用經驗中，即使用了相同的隨機種子，得到的回覆還是可能不同，但重複幾次會發現回答的方式可能就是少數幾個輪替而已。

4. Minimum search score (最小搜尋分數)

意義：設置模型返回的答案中，最低允許的搜尋結果相關性分數。
用法：數值通常介於0到1之間，愈高則返回的結果會越相關。當設置為0時，無論搜尋分數的結果為何，全部返回。

5. Retrieve this many search results (取用搜尋結果的數量)

意義：指定模型應該檢索多少個搜尋結果來生成答案。
用法：通常與知識庫結合使用。若設為3，模型將檢索三個結果來生成回應。

6. Exclude category (排除類別)

意義：排除指定類別的資料源或知識庫，避免它們影響回答生成。
用法：當希望模型不從某些特定範圍檢索資訊時，輸入想排除的類別名稱或標籤。

7. Suggest follow-up questions (建議後續問題)

意義：控制模型是否應該在生成回答後，自動生成後續的問題建議。當你不確定怎麼問聊天機器人可以得到更好的答案時，把這個選項勾起來，聊天機器人會自己提供建議的提問方式。
P.S. 筆者當初第一次用的時候，覺得實在太聰明了吧，聊天機器人可以自己提供自己的使用說明。

8. Retrieval mode (檢索模式)

意義：選擇聊天機器人查找資料的檢索模式。
用法：建議選用Hybrid，結合向量(Vectors)檢索和文本(Text)檢索的混合模式，綜合兩種搜尋模式來取得更精確的結果。

9. Use oid security filter (使用 OID 安全過濾器)

意義：基於OID（Object Identifier）的安全過濾，來控制不同身份用戶可以存取的內容。（默認啟用）

10. Use groups security filter (使用群組安全過濾器)

意義：基於用戶所屬的群組進行安全過濾，通常用於更精細的權限管理。（默認啟用）

11. Stream chat completion responses (串流聊天完成回應)

意義：控制聊天機器人是逐字逐句給予回答，還者是一次性完整回覆整個答案。

▋下回預告

到目前為止，我們聊了Azure聊天機器人的介面、運作原理，以及參數設定方式，明天開始來探索一下github中的程式碼吧。

▋參考資料

azure-search-openai-demo

▋後記

鐵人賽來到了第十天，成功完賽1/3了，筆者第一次這麼長時間的連續輸出，覺得也是達到了一個個人的小小里程碑，希望能繼續保持，完成後續的20天。大家如果有想看什麼內容，也歡迎提出建議。